在改善机器人的感知和导航方面,已经有很多努力,但是它们在危险环境中的应用,例如在大火或地震期间,仍处于新生的阶段。我们在这里假设两个主要挑战:首先,在现实世界中很难复制这种情况,这对于培训和测试目的是必不可少的。其次,当前的系统无法完全利用这种危险环境中可用的丰富多模式数据。为了应对第一个挑战,我们建议以电影和电视节目的形式利用可用的大量视觉内容,并开发一个可以代表现实世界中遇到的危险环境的数据集。对数据进行注释,并具有对现实灾难图像的高级危险等级,并提供了相应的关键字来汇总场景内容。为了应对第二项挑战,我们提出了针对人类机器人逃生场景的多模式危险估计管道。我们的贝叶斯框架通过融合机器人的相机传感器和人类语言输入的信息来改善危险估计。此外,我们使用具有风险意识的计划者来增强估计模块,该模块有助于识别出危险环境中更安全的道路。通过广泛的模拟,我们展示了多模式感知框架的优势,这些框架被转化为有形的好处,例如在协作人类机器人任务中的成功率更高。
translated by 谷歌翻译